提出了未校准的光度立体声,以估计不同且未知的灯光下图像的详细表面正常表面。最近,深度学习为这个不确定的问题带来了强大的数据研究。本文提出了一种用于深度未校准光度立体声的新方法,该方法有效地利用了图像间表示来指导正常估计。先前的方法使用基于优化的神经逆渲染或单个尺寸无关的池层来处理多个输入,这对于在输入图像之间使用信息效率低下。给定不同照明下的多图像,我们考虑了高度相关的内图像和图像间变化。由相关变化的动机,我们设计了一个Intra图像特征融合模块,以将图像间表示引入每个图像特征提取中。额外的表示用于指导每位特征提取并消除正常估计中的歧义。我们演示了设计对广泛样品的影响,尤其是对黑暗材料。与合成数据和真实数据的最新方法相比,我们的方法产生的结果明显好。
translated by 谷歌翻译
图形神经网络(GNN)已显示为与用户项目交互图建模的协作过滤(CF)的有前途的解决方案。现有基于GNN的推荐系统的关键思想是递归执行沿用户项目交互边缘传递的消息,以完善编码的嵌入。然而,尽管它们有效,但当前的大多数推荐模型都依赖于足够和高质量的培训数据,因此学习的表示形式可以很好地捕获准确的用户偏好。用户行为数据在许多实际建议方案中通常很嘈杂,并且表现出偏斜的分布,这可能会导致基于GNN的模型中的次优表示性能。在本文中,我们提出了SHT,这是一种新颖的自我监视的超盖变压器框架(SHT),该框架(SHT)通过以明确的方式探索全球协作关系来增强用户表示。具体而言,我们首先赋予图形神经CF范式,以通过HyperGraph Transformer网络维护用户和项目之间的全局协作效果。在蒸馏的全球环境中,提出了一个跨视图生成的自我监督学习组件,用于对用户项目交互图的数据增强,以增强推荐系统的鲁棒性。广泛的实验表明,SHT可以显着改善各种最新基线的性能。进一步的消融研究表明,我们的SHT推荐框架在减轻数据稀疏性和噪声问题方面具有出色的表示能力。源代码和评估数据集可在以下网址获得:https://github.com/akaxlh/sht。
translated by 谷歌翻译
随着深度学习技术扩展到现实世界推荐任务,已经开发出许多深度神经网络的协作滤波(CF)模型基于各种神经结构,例如多层的神经架构将用户项目交互项目投影到潜伏特征空间中Perceptron,自动编码器和图形神经网络。然而,大多数现有的协作过滤系统不充分设计用于处理缺失的数据。特别是,为了在训练阶段注入负信号,这些解决方案很大程度上依赖于未观察到的用户项交互,并且简单地将它们视为负实例,这带来了推荐性能下降。为了解决问题,我们开发了一个协作反射增强的AutoEncoder网络(Cranet),它能够探索从观察到和未观察的用户项交互的可转移知识。 Cranet的网络架构由具有反射接收器网络的集成结构和信息融合自动统计器模块形成,其推荐框架具有在互动和非互动项目上编码隐式用户的成对偏好的能力。另外,基于参数正规化的捆绑重量方案旨在对两级颅骨模型进行鲁棒联合训练。我们终于在对应于两个推荐任务的四个不同基准数据集上进行了实验验证了Cranet,以表明,与各种最先进的推荐技术相比,脱叠用户项交互的负信号提高了性能。我们的源代码可在https://github.com/akaxlh/cranet上获得。
translated by 谷歌翻译
犯罪预测对于公共安全和资源优化至关重要,但由于两个方面而言,这是非常具有挑战性的:i)犯罪活动的刑事模式的动态,犯罪事件在空间和时间域之间不均匀分布; ii)延时依赖于不同类型的犯罪(例如,盗窃,抢劫,攻击,损害),其揭示了犯罪的细粒度语义。为了解决这些挑战,我们提出了空间时间顺序超图网络(ST-SHN),以集体编码复杂的犯罪空间模式以及潜在的类别明智犯罪语义关系。具体而言,在长期和全局上下文下处理空间 - 时间动态,我们设计了一个具有超图学习范例的集成的图形结构化消息传递架构。为了在动态环境中捕获类别方面的犯罪异构关系,我们介绍了多通道路由机制,以了解犯罪类型的时间不断发展的结构依赖性。我们对两个现实世界数据集进行了广泛的实验,表明我们所提出的ST-SHN框架可以显着提高与各种最先进的基线相比的预测性能。源代码可用于:https://github.com/akaxlh/st-hn。
translated by 谷歌翻译
对于许多在线平台(例如,视频共享网站,电子商务系统),学习动态用户的偏好已成为越来越重要的组成部分,以提出顺序建议。先前的工作已经做出了许多努力,以基于各种体系结构(例如,经常性的神经网络和自我注意机制)对用户交互序列进行建模项目项目过渡。最近出现的图形神经网络还用作有用的骨干模型,可在顺序推荐方案中捕获项目依赖性。尽管它们有效,但现有的方法却远远集中在具有单一相互作用类型的项目序列表示上,因此仅限于捕获用户和项目之间的动态异质关系结构(例如,页面视图,添加最佳选择,购买,购买)。为了应对这一挑战,我们设计了多行为超毛力增强的变压器框架(MBHT),以捕获短期和长期跨型行为依赖性。具体而言,多尺度变压器配备了低级别的自我注意力,可从细粒度和粗粒水平的共同编码行为感知的顺序模式。此外,我们将全局多行为依赖性纳入HyperGraph神经体系结构中,以自定义的方式捕获层次长期项目相关性。实验结果证明了我们MBHT在不同环境中的各种最新推荐解决方案的优势。进一步的消融研究证明了我们的模型设计和新MBHT框架的好处的有效性。我们的实施代码在以下网址发布:https://github.com/yuh-yang/mbht-kdd22。
translated by 谷歌翻译
我们考虑了使用显微镜或X射线散射技术产生的图像数据自组装的模型的贝叶斯校准。为了说明BCP平衡结构中的随机远程疾病,我们引入了辅助变量以表示这种不确定性。然而,这些变量导致了高维图像数据的综合可能性,通常可以评估。我们使用基于测量运输的可能性方法以及图像数据的摘要统计数据来解决这一具有挑战性的贝叶斯推理问题。我们还表明,可以计算出有关模型参数的数据中的预期信息收益(EIG),而无需额外的成本。最后,我们介绍了基于二嵌段共聚物薄膜自组装和自上而下显微镜表征的ohta-kawasaki模型的数值案例研究。为了进行校准,我们介绍了一些基于域的能量和傅立叶的摘要统计数据,并使用EIG量化了它们的信息性。我们证明了拟议方法研究数据损坏和实验设计对校准结果的影响的力量。
translated by 谷歌翻译
许多以前的研究旨在增加具有深度神经网络技术的协同过滤,以实现更好的推荐性能。但是,大多数现有的基于深度学习的推荐系统专为建模单数类型的用户项目交互行为而设计,这几乎无法蒸馏用户和项目之间的异构关系。在实际推荐方案中,存在多重的用户行为,例如浏览和购买。由于用户的多行为模式在不同的项目上俯视,现有推荐方法不足以捕获来自用户多行为数据的异构协作信号。灵感灵感来自图形神经网络的结构化数据建模,这项工作提出了一个图形神经多行为增强建议(GNMR)框架,其明确地模拟了基于图形的消息传递体系结构下不同类型的用户项目交互之间的依赖性。 GNMR向关系聚合网络设计为模拟交互异质性,并且通过用户项交互图递归地执行相邻节点之间的嵌入传播。实体世界推荐数据集的实验表明,我们的GNMR始终如一地优于最先进的方法。源代码可在https://github.com/akaxlh/gnmr中获得。
translated by 谷歌翻译
现实的高光谱图像(HSI)超分辨率(SR)技术旨在从其低分辨率(LR)对应物中产生具有更高光谱和空间忠诚的高分辨率(HR)HSI。生成的对抗网络(GAN)已被证明是图像超分辨率的有效深入学习框架。然而,现有GaN的模型的优化过程经常存在模式崩溃问题,导致光谱间不变重建容量有限。这可能导致所生成的HSI上的光谱空间失真,尤其是具有大的升级因子。为了缓解模式崩溃的问题,这项工作提出了一种与潜在编码器(Le-GaN)耦合的新型GaN模型,其可以将产生的光谱空间特征从图像空间映射到潜在空间并产生耦合组件正规化生成的样本。基本上,我们将HSI视为嵌入在潜在空间中的高维歧管。因此,GaN模型的优化被转换为学习潜在空间中的高分辨率HSI样本的分布的问题,使得产生的超分辨率HSI的分布更接近其原始高分辨率对应物的那些。我们对超级分辨率的模型性能进行了实验评估及其在缓解模式崩溃中的能力。基于具有不同传感器(即Aviris和UHD-185)的两种实际HSI数据集进行了测试和验证,用于各种升高因素并增加噪声水平,并与最先进的超分辨率模型相比(即Hyconet,LTTR,Bagan,SR-GaN,Wgan)。
translated by 谷歌翻译
Masked image modeling (MIM) performs strongly in pre-training large vision Transformers (ViTs). However, small models that are critical for real-world applications cannot or only marginally benefit from this pre-training approach. In this paper, we explore distillation techniques to transfer the success of large MIM-based pre-trained models to smaller ones. We systematically study different options in the distillation framework, including distilling targets, losses, input, network regularization, sequential distillation, etc, revealing that: 1) Distilling token relations is more effective than CLS token- and feature-based distillation; 2) An intermediate layer of the teacher network as target perform better than that using the last layer when the depth of the student mismatches that of the teacher; 3) Weak regularization is preferred; etc. With these findings, we achieve significant fine-tuning accuracy improvements over the scratch MIM pre-training on ImageNet-1K classification, using all the ViT-Tiny, ViT-Small, and ViT-base models, with +4.2%/+2.4%/+1.4% gains, respectively. Our TinyMIM model of base size achieves 52.2 mIoU in AE20K semantic segmentation, which is +4.1 higher than the MAE baseline. Our TinyMIM model of tiny size achieves 79.6% top-1 accuracy on ImageNet-1K image classification, which sets a new record for small vision models of the same size and computation budget. This strong performance suggests an alternative way for developing small vision Transformer models, that is, by exploring better training methods rather than introducing inductive biases into architectures as in most previous works. Code is available at https://github.com/OliverRensu/TinyMIM.
translated by 谷歌翻译
In this paper, we propose a robust 3D detector, named Cross Modal Transformer (CMT), for end-to-end 3D multi-modal detection. Without explicit view transformation, CMT takes the image and point clouds tokens as inputs and directly outputs accurate 3D bounding boxes. The spatial alignment of multi-modal tokens is performed implicitly, by encoding the 3D points into multi-modal features. The core design of CMT is quite simple while its performance is impressive. CMT obtains 73.0% NDS on nuScenes benchmark. Moreover, CMT has a strong robustness even if the LiDAR is missing. Code will be released at https://github.com/junjie18/CMT.
translated by 谷歌翻译